#Information Theory

4 篇

Information-Guided Selective Modality-Interest Alignment for Multimodal Recommendation

信息引导的选择性模态-兴趣对齐多模态推荐框架

🧭 多模态推荐 · 兴趣对齐与去噪

Shanghai Jiao Tong University

提出信息论引导的 AMUR 框架，选择性对齐与用户兴趣相关的多模态语义并抑制噪声模态

📌 工作参考价值（4 点）

多模态推荐里不要默认全量融合所有模态：业务上可以先利用用户行为信号筛选与兴趣更相关的模态子集，降低视觉/文本噪声对点击率、转化率建模的干扰。
借鉴信息论显式约束：用互信息或熵正则替代隐式 attention 加权，让模态-兴趣对齐有明确优化目标；在电商多模态商品塔中可加入兴趣相关性损失，提升冷启动和长尾商品表征。
图结构先 refinement 再融合：先用用户行为调整物品多模态图，剪掉弱相关边，再跨模态对齐；对应到商品关系图，能减少无关商品连接带来的 embedding 噪声。
保留模态特定互补信息：对齐共享语义时不要完全抹掉模态独有信号，电商场景中文本标题、主图、视频信息有互补性，可设计共享/私有特征分离结构。

RecSys | 2026-08-28 | cs.IR | score 7/10

Nous: 面向长期 Agent 记忆的预测世界模型

🧭 Agent长期记忆 · 预测世界模型

Indian Institute of Technology Ropar

基于信息论惊喜度和贝叶斯更新，用概率分布代替事实存储，实现Agent记忆的自然遗忘与身份解析。

📌 工作参考价值（4 点）

用概率分布跟踪用户/商品属性变化：在电商推荐Agent中，每个用户偏好或商品属性可维护一个分类分布，新交互通过贝叶斯更新增量调整belief，避免定期全量重建用户画像。
惊喜度指标驱动重要记忆保留：仅当观察的信息量$S=-\log_2 P$超过阈值时才记录“delta”，可自动过滤噪声信号，降低记忆存储开销，适配高频交互场景。
自然遗忘机制处理数据时效性：分布未获新证据时熵增向均匀分布收敛，自动淘汰过时信息，无需人为设计衰减规则，利于动态环境下的推荐策略调整。
轻量级实现，无外部向量库依赖：整套记忆逻辑基于闭式概率更新，不引入向量数据库或图谱引擎，易于集成到已有Agent管线，降低系统复杂度。

Agent | 2026-06-20 | cs.IR | score 7/10

潜在链式思维中有效监督的信息论分析

🧭 潜在链式推理的监督优化

Ningbo Institute of Digital Twin, Eastern Institute of Technology · Department of Computing, The Hong Kong Polytechnic University

信息论分析揭示潜在CoT双坍塌，提出轨迹与空间监督，发现生成式重建优于几何压缩，建立信息-性能绑定

📌 工作参考价值（4 点）

在搜索推荐系统中若采用隐式CoT进行多步推理（如用户意图推断、推荐理由生成），不应仅依赖结果监督，应引入轨迹监督向中间隐状态注入步骤级信号，并利用空间监督保持隐空间语义结构，防止语义漂移。
避免将隐状态强行对齐到离散符号（如MSE回归到思维token），该做法会压缩推理空间；改用生成式重建（自解码器生成推理步骤）作为更灵活的语义锚，可更好地保留信息容量，提升复杂推荐任务的推理质量。
可借鉴统一潜在探针（ULP）的设计，通过测量隐轨迹与显式推理步骤的互信息，监控推荐模型中隐式推理过程的信息保真度，作为训练质量的评价指标，指导优化方向。
论文证实推理准确率与隐链信息保真度强绑定，因此在需要多步逻辑推理的推荐场景（如用户兴趣演化建模）中，应优先优化隐状态与推理逻辑的互信息，而非仅关注最终推荐指标。

Reasoning | 2026-06-18 | cs.CL | score 7/10

量化如何限制密集 top-k 检索？一项理论分析

🧭 密集检索 · 向量量化理论

NTT, Inc.

证明在量化精度下，嵌入维度必须随语料库规模对数增长，打破了无限精度下维度与 N 无关的结论。

📌 工作参考价值（4 点）

在电商推荐的大规模向量检索中，若采用标量量化或乘积量化压缩向量，随着商品库增长，需同步提升嵌入维度或量化精度，否则 top-k 检索的完备性会下降。
可根据理论关系 $Bd = \Omega(k\ln N)$ 评估当前系统的量化配置是否安全：给定 $N$、$k$ 和每个坐标的比特数 $B$，反推所需最小维度 $d$，作为系统扩展的参考。
在 Agent 或 RAG 场景中，若使用向量数据库存储外部记忆或工具描述，量化压缩策略需考虑检索任务复杂度（$k$ 的大小）与记忆条目数 $N$ 的乘积效应，避免精度不足导致的检索失败。
提示工程或检索增强流程中，若融合多个量化向量索引（如多级 PQ），推荐根据总比特预算 $Bd$ 分配资源，而非孤立压缩，以维持检索表达力。

RecSys | 2026-06-10 | cs.IR | score 6/10